Not All Is Lost: Repairing Lossy User Preference States of Personalization Encoders
并非全部丢失:修复个性化编码器中的有损用户偏好状态
🧭 推荐系统偏好状态事后校正 ★ 深度解读
KDM Lab, Dhirubhai Ambani University · LCS2 Lab, Indian Institute of Technology Delhi · Dhirubhai Ambani University
提出 REPAIR,利用冻结编码器缓存修复偏好状态,在不改编码器和任务头下提升推荐与个性化生成
📌 工作参考价值(4 点)
- 对已部署的推荐模型,可在不重训编码器、不增加线上编码成本的情况下,插入轻量 REPAIR 模块,直接复用前向计算中已有的逐 timestep 缓存,修复压缩后的用户偏好状态,提升 MRR/nDCG;实验显示仅微调任务头提升很小(如 Mamba4Rec +0.19 MRR),而修复状态本身能带来 +3.96 MRR,说明瓶颈在状态压缩而非头部,排查效果时应优先检查状态表达。
- 修复模块采用低秩可学习模式(K=128)和长/短/片段三时间基函数,是即插即用的工程组件;可借鉴其选择性写回与残差融合设计,控制线上额外延迟(论文报告延迟开销 38-44%)。
- 对于 LLM 个性化生成,可将修复后的状态映射为连续前缀喂给冻结 LLM,在 PerSEval 个性化指标上提升显著(IMPerSumm +25.23%),但通用生成指标变化不大,提示在评估个性化生成时需单独使用个性化敏感指标。
- 训练目标中加入位置和源一致性辅助损失,可稳定修复模块对证据来源的追踪,在电商多行为序列建模中可借鉴该思路,让修复更可解释。